実況ツイートメモ 継続的なモデルモニタリングを実現するKubernetes Operator
スライドのスクショがあるのでリンク先確認オススメ(まとめ感)
聴講時のメモも追加していく(スライドと合わせて見返したい狙い)
なぜモデルモニタリングは重要なのか!
訓練に使ったデータの分布がある
時間の経過ともにモデルの性能は下がっていく
性能が下がったモデルはビジネス機会の損失
モデルモニタリングはデータのドリフト検定が目的。ドリフトいろいろある。
feature drift
prediction drift
label drift
特徴量、予測、正解の3つが変わる可能性がある!
モデルモニタリングを社内で広めるために一括してマネージド・サービスにする。至言だ。
マネージド
モニタリングに必要な仕組みを一括提供
社内のデータソース対応
モデルモニタリングシステムの設計。
データドリフト検定では基準とした点と現在とでデータのドリフトを検出する。
検定:基準にした点と現在のデータの分布を比較する
学習に使ったデータ
サーブで入力されたデータ
feature drift
servingシステムと連携しなくても可能
servingシステムとの連携追加でできる検定増える
prediction drift
servingシステムとの連携必要
ヤフー様のモデルモニタリングDronach
データドリフトの仕組み。Argo WorkflowはKubernetesネイティブに使えるワークフローエンジン。Alibi detectはSeldon IOの一つ。
alibi-detect
whylogsを使えばデータフレームや画像をロギングできる。便利。
whylogs
Kubernetesカスタムリソース
Kubernetes カスタムリソース
既存のマニフェストを抽象化層を作ると言えば、KubeVelaも気になっている。
KubeVela
Dronachで監視するときのマニフェスト。簡単そう。
データサイエンティストが書くのは、以下だけ
クエリ(学習データを取り出すクエリ)
スケジュール